Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
可读性不等同于可解释性：比较 CoT 推理中判断重要性与实际重要性
🧭 CoT 推理步骤重要性的可解释性评估
ETH Zürich · MIT · Cohere
实证表明 CoT 步骤文本只部分编码其功能重要性，LLM judge 与微调 critic 识别高优势步骤能力远低于噪声上限。
📌 工作参考价值（4 点）
- 在电商/Agent 场景中用 LLM 评判推理步骤或生成过程（如诊断错误、提供中间奖励）时，要警惕文本看起来合理但实际未必对应功能重要性：文本可读性不等于可解释性。
- 过程奖励模型（PRM）在正确响应上识别关键步骤能力有限，建议不要仅依赖 PRM 做细粒度信号，可结合蒙特卡洛 rollout 估计的 advantage 作为更可靠的地面真值。
- 如果需要训练步骤级 critic，注意其对错误样本提升明显，但对正确样本效果欠佳；可考虑将 critic 用于纠错或筛选而非全面解释。
- 在生成式推荐或 Agent 流水线中，对中间步骤做剪枝或加权时，基于文本判断的权重可能不可靠，需要验证“看起来关键”的步骤是否真的影响最终结果。